Tuyên Quang, khi ấy còn có tên Tam Kỳ, là một tỉnh lớn và quan trọng trên sông Lô. Khi thành Hưng Hóa thất thủ, tướng Hoàng Tá Viêm tuân mạng về Huế, thì Đề đốc Lưu Vĩnh Phúc và đoàn quân Cờ Đen của ông (gọi chung là Lưu đoàn), không còn ai chỉ huy nữa.[2] Cho nên, Lưu đoàn quyết định rút quân lên mạn ngược, lấy thành Tuyên Quang (gọi tắt là thành Tuyên) làm căn cứ, và rồi được nhà Thanh phong tướng.

Nhưng ngay khi đến nơi ở mới, Lãnh binh của Lưu đoàn là Hoàng Thư Trung với khoảng 2.000 quân của mình, đã xông vào thành Tuyên, bắt Tuần phủ Hoàng Trương Hiệp đem đi an trí ở Long Châu[3], rồi thu hết kho tàng, sổ sách đem đi... Hoảng sợ, Án sát Nghiêm Niệm giả bệnh, còn Bố chính Lê Văn Duyên thì lẻn trốn về Hà Nội, báo với Pháp mọi việc, cốt nhờ thế lực này đưa mình trở lại chức vị cũ. Nắm lấy cơ hội, Pháp đã dùng ngay ông này làm người chỉ lối để đem binh lên đánh lấy thành Tuyên.

Cuối tháng 5 năm Giáp Thân (1884), Thống tướng Charles Millot cho tàu đi thăm dò sông Lô, để biết tàu thủy lên được đến đâu. Sau đó, ông sai Trung tá Duchesne đang đóng ở Việt Trì dẫn 5 pháo hạm lên đánh Tuyên Quang. Đến nơi, quân Pháp chỉ đánh độ một giờ đồng hồ thì quân Cờ Đen bỏ thành Tuyên tháo chạy, rồi sau đó tranh nhau đi cướp phá các làng mạc của dân Việt.

Hôm ấy là ngày 31 tháng 5 năm 1884. Lấy xong thành Tuyên, thực dân Pháp cho Lê Văn Duyên và Nghiêm Niệm về phục chức.